摘錄幾位大大在SDNDS.TW 社團的討論
Infiniband, RoCE v1/v2, iWARP
1.交換機一定要有PFC才能跑RoCE, 因為封包的表頭帶有(pr
iority) 欄位, 沒有的話RoCE並不會動作
2.L2為範例，看到並且處理的就是 ethernet header，這裡面本身並沒有 priority 的欄位可以用。
所以 RoCE (L2) 本身也可以使用其他的方式來達到 flow control 的效果。
3.採用 PFC 則會使用 vlan 裡面的 priority 欄位作為一個辨識的方法，來達到更細一步的 flow control。
4.在 mellanox RoCE with PCF 的範例中， switch 跟 server 端都要上 vlan，同時 server 端的封包在送出去前還要再 vlan header內上 priority ，這樣 switch 才會看到此 vlan + priority 來進行 PCF 的後續處理。
5.http://www.mellanox.com/page/software_vma?mtag=vma
此為繞過Linux kenrel 通訊方式.TCP/IP先天就不是高速傳輸協議
結論
1.10GbE switch要有支持PFC 和 DCBX
2.Mellanox用的協議有很多:ipoverib ,srpt 等.
但為了整體相容性狀況跟效能可能最建議的為ROCE , 所有linux 端安裝好VMA
像3par ,exdata 這種儲存設備 就是在於node與node之間通訊超低延遲多點.
Search